"""
2.relu系列：简单高效的标杆
    a.基本relu
        i.f(x)=max(0, x)
        ii.优点：计算简单高效，x>0的时候，梯度值为1，彻底解决梯度消失问题
        iii.缺点：x<0的时候，梯度值为0，导致神经元死亡
        iv.应用：CNN卷积层的标配，AlexNet提出，在ResNet中和残差连接配合使用效果极佳
    b.Leaky ReLu
        i.f(x) = max(αx, x) α是小常数
        ii.优点：稍微了改进了死亡ReLu问题
        iii.变种1：PReLU f(x) = max(αx, x) α是可学习的
        iv.变种2：ELU 引入指数
"""